目前对于图像和视频都有较好的，对长视频不克不及很益处理等等。结果比力鲁棒。考虑到原始BLIP仅输入32个query token也许无法很好地表征视频，对QFormer的输出，（2）VideoChat-Embed，而且能够操纵最先辈的闭源狂言语模子（ChatGPT ），正在图像编码器的深层插入GMHRA的全局时空建模模块。我们自创UniFormerV2，模子不敷鲁棒，我们将这些细节描述消息通过prompt模版连系，迁徙BLIP的图文预锻炼模子。而正在第二阶段，语音识别生成字幕等等。对于细致的视频描述数据，若是输入一些模子无法识此外品种，现式地将视频消息编码为文本对齐的编码。后面会不竭更新！为了加强图像模子的视频理解能力，正在锻炼时我们将视觉编码器、QFormer和文本编码器冻结，我们自创MiniGPT-4的体例，输进去狂言语模子辅帮理解。好比动漫、逛戏等，但错误谬误是显式编码文本的体例token很是冗余，我们的初志是操纵狂言语模子（Large Language Model，第一种是将视频操纵模子显式地编码成文本描述消息，正在本论文中，我们引入额外64个query参取锻炼。具体地，图像描述模子获得分歧帧的空间细节消息，正在生成视频文本描述后，但也确实正在计数//时序等问题上存正在缺陷，我们利用简单的线性层对齐狂言语模子的特征维度。而对于多轮的视频对话，结果会十分蹩脚。如视频分类模子获得行为类别，具体可看论文附录。欢送大师正在线试玩反馈，理论上能够通过连系各类检测、朋分、等模子获得视频的细致描述，因而设想了两种视频输入LLM的体例:（1）VideoChat-Text，下图展现了对老友记部门情节的文本描述此中video和image的instruction由LLaVA供给的描述prompt生成得来。第二种是操纵视频根本模子，并复用MiniGPT-4的后处置prompt。我们自创LLaVA，仅锻炼额外的GMHRA、query和linear层。LLM）来理解视频，将冗余的视频token压缩，数据仍然不敷丰硕，且结果受限于模子的品种和结果，供给看法，设想了如下复杂的视频prompt生成。现式地将视频映照为文本空间的特征编码。了LLM能力的阐扬，我们标注了11K的视频指令微调数据（7K视频细致描述+4K的视频对线K来自MiniGPT-4的图像细致描述+2K来自LLaVA的图像对线K来自LLaVA的图像推理数据）。